大多数图形神经网络(GNNS)使用传递范例的消息,其中节点特征在输入图上传播。最近的作品指出,从远处节点流动的信息失真,作为限制依赖于长途交互的任务的消息的效率。这种现象称为“过度挤压”,已经启动到图形瓶颈,其中$ k $ -hop邻居的数量以$ k $迅速增长。我们在GNNS中提供了精确描述了GNNS中的过度挤压现象,并分析了它如何从图中的瓶颈引发。为此目的,我们介绍了一种新的基于边缘的组合曲率,并证明了负曲面负责过度挤压问题。我们还提出并通过实验测试了一种基于曲率的曲线图重新挖掘方法,以减轻过度挤压。
translated by 谷歌翻译
虽然图形神经网络(GNNS)最近成为用于建模关系数据的事实标准,但它们对图形节点或边缘特征的可用性产生了强烈的假设。然而,在许多现实世界应用中,功能仅部分可用;例如,在社交网络中,年龄和性别仅适用于一小部分用户。我们介绍了一种用于处理基于Dirichlet能量最小化的图形机学习应用中缺失特征的一般方法,并导致图表上的扩散型微分方程。该等方程的离散化产生了一种简单,快速且可伸缩的算法,我们调用特征传播。我们通过实验表明,所提出的方法在七个常见节点分类基准测试中优于先前的方法,并且可以承受令人惊讶的缺失特点率:平均而言,当缺少99%的功能时,我们只观察到约4%的相对精度下降。此外,在单个GPU上运行$ \ SIM $ 2.5M节点和$ \ SIM $ 123M边缘,只需10秒即可在单个GPU上运行。
translated by 谷歌翻译
Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.
translated by 谷歌翻译
深度学习技术的最新进展引发了地面车辆的自主权的根本性进步。定期用于监视,监视和其他常规任务的海洋沿海自动级别的表面车辆(ASV)可以从这种自治中受益。长期的深海运输活动是额外的机会。这两个用例的地形非常不同 - 第一个是沿海水域 - 具有许多障碍,结构和人类的存在,而后者大多没有这样的障碍。环境条件的变化都是两种地形的共同点。绘制此类地形的强大标记数据集对于提高可以推动自主权的情境意识至关重要。但是,只有此类海事数据集有限,这些数据集主要由光学图像组成。虽然,长浪红外(LWIR)是对极端光条件下有助于的光谱的强烈补充,但目前尚不存在带有LWIR图像的标记的公共数据集。在本文中,我们通过在不同条件下呈现在沿海海上环境中捕获的2,900多个LWIR分段图像的标签数据集来填补这一空白。这些图像使用实例分割标记,并分为七个类别 - 天空,水,障碍物,生活障碍,桥梁,自我和背景。我们还评估了三个深度学习体系结构(UNET,PSPNET,DEEPLABV3)的数据集,并对其功效提供了详细的分析。尽管数据集专注于沿海地形,但可以同样有助于深海用例。这种地形的流量将较小,在混乱环境中训练的分类器将能够有效地处理稀疏场景。我们与研究界分享此数据集,希望它刺激新的场景理解海上环境中的能力。
translated by 谷歌翻译
最小化能量的动力系统在几何和物理学中无处不在。我们为GNN提出了一个梯度流框架,其中方程遵循可学习能量的最陡峭下降的方向。这种方法允许从多粒子的角度来解释GNN的演变,以通过对称“通道混合”矩阵的正和负特征值在特征空间中学习吸引力和排斥力。我们对溶液进行光谱分析,并得出结论,梯度流量图卷积模型可以诱导以图高频为主导的动力学,这对于异性数据集是理想的。我们还描述了对常见GNN体系结构的结构约束,从而将其解释为梯度流。我们进行了彻底的消融研究,以证实我们的理论分析,并在现实世界同质和异性数据集上显示了简单和轻量级模型的竞争性能。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
我们提出了图形耦合振荡器网络(GraphCon),这是一个新颖的图形学习框架。它基于普通微分方程(ODE)的二阶系统的离散化,该系统建模了非线性控制和阻尼振荡器网络,并通过基础图的邻接结构结合。我们的框架的灵活性允许作为耦合函数任何基本的GNN层(例如卷积或注意力),通过该函数,通过该函数通过该函数通过该函数通过该函数通过所提出的ODES的动力学来构建多层深神经网络。我们将GNN中通常遇到的过度厚度问题与基础ode的稳态稳定性联系起来,并表明零二核能能量稳态对于我们提出的ODE不稳定。这表明所提出的框架减轻了过度厚度的问题。此外,我们证明GraphCon减轻了爆炸和消失的梯度问题,以促进对多层GNN的训练。最后,我们证明我们的方法在各种基于图形的学习任务方面就最先进的方法提供了竞争性能。
translated by 谷歌翻译
在本文中,我们组合了两个独立的检测方法来识别假新闻:算法Vago使用语义规则与NLP技术相结合,测量文本中的模糊和主体性,而分类器假CLF依赖于卷积神经网络分类和监督深度学习将文本分类为偏见或合法。我们比较四个语料库的两种方法的结果。我们在vago获得的模糊和主观性措施之间找到了积极的相关性,以及由假CLF偏向的文本分类。比较产生互利:Vago有助于解释假CLF的结果。相反,Fake-CLF帮助我们证实并扩展Vago的数据库。使用两个互补技术(以基于规则的VS数据驱动)证明了识别假新闻的挑战性问题。
translated by 谷歌翻译
为什么普通语言模糊不清?我们认为,在合作扬声器没有完全了解世界的情况下,使用模糊表达可以在真实性(Gricean质量)和信息性之间提供最佳权衡(Gricean数量)。专注于诸如“周围”的近似的表达,这表明他们允许扬声器传达间接概率信息,这种信息可以使听众更准确地表示发言者可用的信息的信息。更精确的表达将是(之间的间隔“)。也就是说,模糊的句子可以比他们精确的对应物更有信息。我们对“周围”解释的概率处理,并提供了解释和使用“围绕” - 理性语音法(RSA)框架的典范。在我们的账户中,扬声器分配事项的形状不是由RSA框架标准用于模糊谓词的词汇不确定性模型的方式预测。我们利用我们的方法绘制关于模糊表达的语义灵活性的进一步教训及其对更精确的含义的不可缩短。
translated by 谷歌翻译
The research community has increasing interest in autonomous driving research, despite the resource intensity of obtaining representative real world data. Existing selfdriving datasets are limited in the scale and variation of the environments they capture, even though generalization within and between operating regions is crucial to the overall viability of the technology. In an effort to help align the research community's contributions with real-world selfdriving problems, we introduce a new large-scale, high quality, diverse dataset. Our new dataset consists of 1150 scenes that each span 20 seconds, consisting of well synchronized and calibrated high quality LiDAR and camera data captured across a range of urban and suburban geographies. It is 15x more diverse than the largest cam-era+LiDAR dataset available based on our proposed geographical coverage metric. We exhaustively annotated this data with 2D (camera image) and 3D (LiDAR) bounding boxes, with consistent identifiers across frames. Finally, we provide strong baselines for 2D as well as 3D detection and tracking tasks. We further study the effects of dataset size and generalization across geographies on 3D detection methods. Find data, code and more up-to-date information at http://www.waymo.com/open.
translated by 谷歌翻译